#LLM auditing

3 篇

Cited but Not Consulted: A Counterfactual Audit of Legal Chain-of-Thought Faithfulness

被引用却未被咨询：法律思维链忠实性的反事实审计

🧭 CoT 忠实度反事实审计与红队评估

Lexsi Labs

反事实替换法律依据并解码隐藏状态，发现LLM命名法规与判决实际依赖严重脱节，且易受对抗指令操纵

📌 工作参考价值（4 点）

在推荐/广告场景让 LLM 生成推荐理由时，别把“提到某个特征/商品属性”当作模型真的基于该特征决策的证据；可借鉴反事实替换：把解释中提到的关键依据换成相反/无关项，看输出 item/排序是否改变，量化理由忠实度。
用隐藏状态探测/线性探针监测模型在生成解释前是否已定下答案，评估“解释是事后再找理由”的程度，对应生成式推荐解释是否只是装饰。
注意对抗指令注入：用户评论、商品描述、query 中可能隐藏指令，LLM可能高度顺从；在电商搜索/客服 Agent 场景要增加输入过滤和角色边界约束，尤其是生成推荐理由或审核决策时。
工程上，合规/审计所需的推荐或风控决策，不应以自然语言理由作为可靠审计日志，应记录底层特征、模型分数等结构化信号。

Reasoning | 2026-10-08 | cs.CL | score 6/10

A Lie Detector Test for Language Models: Reading Knowledge a Model Won't Reveal

语言模型测谎：读取模型不愿透露的知识

🧭 LLM 内部知识探测与隐藏知识审计

StackOne Technologies

用内部状态探测识别 LLM 隐藏但已知的答案，区分“不愿答”与“不会答”

📌 工作参考价值（4 点）

在电商/广告 Agent 上线前，用 PIR 式内部探测评估模型是否真正掌握商品知识或策略却因 prompt 冲突、安全过滤误伤而故意不输出，避免仅靠行为日志误判能力。
对经过 RLHF 或 unlearning 的模型，用内部识别信号验证敏感知识是否真正遗忘而非仅在输出层被压制，可用于合规删除用户数据或品牌敏感信息的审计。
该方法无需标注真值，可对长尾商品/query 做无标签知识覆盖度审计，帮助识别模型“知道但不说”的候选，减少标注成本。
可将候选答案的内部识别分数作为生成结果可信度辅助特征或 Agent 决策路由依据，在关键推荐/搜索环节检测模型是否隐藏高置信答案。

LLM | 2026-09-18 | cs.AI | score 6/10

LLM auditing internal probing sandbagging unlearning verification concealed information test

The Dice Roll Method: A Standardized Protocol for Repeated-Query Auditing of Large Language Model Brand Recommendations

LLM 品牌推荐重复查询审计的 Dice Roll 标准化协议

🧭 LLM 重复查询审计协议

Department of Information Technologies, Estonian Entrepreneurship University of Applied Sciences (EUAS), Tallinn, Estonia · Rankfor.AI, Tallinn, Estonia

为 LLM 品牌推荐重复查询审计提供统计可靠性迭代标准与指标组合，外部验证 37/39 单元复现

📌 工作参考价值（4 点）

在内部评估 LLM 推荐品牌/商品稳定性时，直接套用三档迭代标准：探索性 n=5（G=0.58）、确认性 n=10（G=0.74）、严格 n=15（G=0.81），结合 Cliff's delta 效应量阈值做决策，避免拍脑袋定重复次数。
用多指标 battery 替代单一指标：同时统计 count（出现频次）、set（集合重叠）、embedding（语义相似度）、fairness-adjusted PASOR（公平调整），警惕只盯准确率或 top-1 的误导。
处理 LLM 输出的计数或离散品牌分布时，用 negative-binomial mixed model 加依赖保持 bootstrap，而不是正态假设的 t-test；token 采样导致的过度离散会很严重。
对 prompt 改版、模型升级或温度参数调整，可以引入 KS 检验和 PSI 漂移诊断，在 pinned model snapshot 上监控输出分布变化，防止无声漂移破坏推荐一致性。

Eval | 2026-09-03 | cs.IR | score 6/10

LLM auditing brand recommendation reliability generalizability theory bootstrap simulation-based power